Cortex：将上下文收益固化进 LLM 参数记忆
🧭 LLM 记忆固化 · 参数更新 ★ 深度解读
Zhejiang University · ByteDance Seed · Tsinghua University
用前瞻性重演与 FFN-only 低秩/结构化更新，把上下文增益蒸馏为可堆叠的参数记忆，兼顾 CR 与 RR
📌 工作参考价值（4 点）
- Agent 经验与临时规则沉淀：可把商品知识、活动政策、API 文档、成功轨迹等上下文，先用冻结模型生成“预期查询+上下文条件回答”，再蒸馏到 0.74M–2.73M 的小型 FFN adapter；无需把完整上下文塞进 prompt 或检索库，适合高频、确定性的商户规则/接口知识固化。
- 架构选择：只更新 FFN/MoE，冻结 attention、router 和 backbone；Structural 新增非线性通道比低秩 Synaptic 更擅长代码/API 类可复用过程，且 MoE 用 shared branch 给所有 token 直接训练曝光，减少遗忘、提升 CR。
- 训练目标 trick：用 top-K_v 截断 KL + 对齐后 FFN hidden-state MSE 监督，teacher 带上下文、student 不带；这对少样本、要保 base 能力的高保续更新很有效。历史 query replay 只留 query、不存 context，降低隐私和存储成本。
- 落地边界：CR/RR 的权衡在实体邻近知识上仍明显，组合推理/可移植性（portability）是短板；建议只固化高频、低歧义技能，开放生成仍保留 RAG/prompt 兜底。
LycheeMemory V2：语义片段级巩固的 LLM Agent 长期记忆框架
🧭 LLM Agent 长期记忆构建与检索 ★ 深度解读
Harbin Institute of Technology, Shenzhen
将逐轮记忆巩固改为语义片段级批量编码，写侧 token 降最多 86% 且 LoCoMo/LongMemEval-S 精度 SOTA
📌 工作参考价值（4 点）
- 在对话式推荐/导购 Agent 中，不要每轮都调 LLM 写画像；改成按语义完整片段批量生成 typed memory records（偏好/事实/约束/事件），写侧 token 可降低 75%–86%，适合长期用户画像积累。
- 分段触发别用固定窗口，可用 embedding 相似度 + cohesion drop 在线检测语义边界，保留事件和话题结构；固定窗口在消融中精度掉 6.8pp，语义分片能提升多跳和开放域问答。
- 把非结构化对话提炼为 typed records，并建立 entity/topic/temporal/event-frame 结构化索引；查询时 planner 一次性规划多路召回（record/节点/时间/原始 turn），再用 RRF 融合，能有效处理多跳、时序、偏好追踪类查询，且避免多轮 LLM 检索带来的 query token 上升。
- 评估记忆系统时，把 construction tokens 和 query tokens 分开核算，不要只比精度；该方法在精度提升 20pp 以上的同时，query tokens 反而比 A-Mem 低 28%–43%。